While deep neural networks (DNNs) have demonstrated impressive performance in solving many challenging tasks, they are limited to resource-constrained devices owing to their demand for computation power and storage space. Quantization is one of the most promising techniques to address this issue by quantizing the weights and/or activation tensors of a DNN into lower bit-width fixed-point numbers. While quantization has been empirically shown to introduce minor accuracy loss, it lacks formal guarantees on that, especially when the resulting quantized neural networks (QNNs) are deployed in safety-critical applications. A majority of existing verification methods focus exclusively on individual neural networks, either DNNs or QNNs. While promising attempts have been made to verify the quantization error bound between DNNs and their quantized counterparts, they are not complete and more importantly do not support fully quantified neural networks, namely, only weights are quantized. To fill this gap, in this work, we propose a quantization error bound verification method (QEBVerif), where both weights and activation tensors are quantized. QEBVerif consists of two analyses: a differential reachability analysis (DRA) and a mixed-integer linear programming (MILP) based verification method. DRA performs difference analysis between the DNN and its quantized counterpart layer-by-layer to efficiently compute a tight quantization error interval. If it fails to prove the error bound, then we encode the verification problem into an equivalent MILP problem which can be solved by off-the-shelf solvers. Thus, QEBVerif is sound, complete, and arguably efficient. We implement QEBVerif in a tool and conduct extensive experiments, showing its effectiveness and efficiency.

Deep learning methods have contributed substantially to the rapid advancement of medical image segmentation, the quality of which relies on the suitable design of loss functions. Popular loss functions, including the cross-entropy and dice losses, often fall short of boundary detection, thereby limiting high-resolution downstream applications such as automated diagnoses and procedures. We developed a novel loss function that is tailored to reflect the boundary information to enhance the boundary detection. As the contrast between segmentation and background regions along the classification boundary naturally induces heterogeneity over the pixels, we propose the piece-wise two-sample t-test augmented (PTA) loss that is infused with the statistical test for such heterogeneity. We demonstrate the improved boundary detection power of the PTA loss compared to benchmark losses without a t-test component.

机器人的感知目前处于在有效的潜在空间中运行的现代方法与数学建立的经典方法之间的跨道路，并提供了可解释的，可信赖的结果。在本文中，我们引入了卷积的贝叶斯内核推理（Convbki）层，该层在可分离的卷积层中明确执行贝叶斯推断，以同时提高效率，同时保持可靠性。我们将层应用于3D语义映射的任务，在该任务中，我们可以实时学习激光雷达传感器信息的语义几何概率分布。我们根据KITTI数据集的最新语义映射算法评估我们的网络，并通过类似的语义结果证明了延迟的提高。

自我监督的神经语言模型最近在有机分子和蛋白质序列的生成设计中发现了广泛的应用，以及用于下游结构分类和功能预测的表示学习。但是，大多数现有的分子设计深度学习模型通常都需要一个大数据集并具有黑盒架构，这使得很难解释其设计逻辑。在这里，我们提出了生成分子变压器（GMTRANSFORMER），这是一种用于分子生成设计的概率神经网络模型。我们的模型建立在最初用于文本处理的空白填充语言模型上，该模型在学习具有高质量生成，可解释性和数据效率的“分子语法”方面具有独特的优势。与其他基线相比，我们的模型在摩西数据集上的基准测试后获得了高新颖性和SCAF。概率生成步骤具有修补分子设计的潜力，因为它们有能力推荐如何通过学习的隐式分子化学指导，并通过解释来修饰现有分子。可以在https://github.com/usccolumbia/gmtransformer上自由访问源代码和数据集

已经提出了多个草图数据集，以了解人们如何绘制3D对象。但是，这样的数据集通常是小规模的，并且覆盖了一小部分对象或类别。此外，这些数据集包含大多来自专家用户的徒手草图，因此很难比较专家和新手用户的图纸，而这种比较对于告知对任何一个用户组的基于草图的界面更为有效的接口至关重要。这些观察结果激发了我们分析具有和没有足够绘图技能的人的不同程度的素描3D对象。我们邀请了70个新手用户和38位专家用户素描136 3D对象，这些对象是从多个视图中呈现的362张图像。这导致了3,620个徒手多视图草图的新数据集，在某些视图下，它们在其相应的3D对象上注册。我们的数据集比现有数据集大的数量级。我们在三个级别（即在空间和时间特征下以及跨越创建者组的内部和范围内）分析了三个级别的收集数据。我们发现，专业人士和新手的图纸在本质和外在的中风级别上显示出显着差异。我们在两个应用程序中演示了数据集的有用性：（i）徒手式的草图合成，（ii）将其作为基于草图的3D重建的潜在基准。我们的数据集和代码可在https://chufengxiao.github.io/differsketching/上获得。

预先训练的图像文本模型（如剪辑）已经证明了从大规模的Web收集的图像文本数据中学到的视觉表示的强大力量。鉴于学习良好的视觉特征，一些现有的作品将图像表示转移到视频域并取得良好的结果。但是，如何利用图像语言预训练的模型（例如，剪辑）进行视频培训（后培训）仍在探索。在本文中，我们研究了两个问题：1）阻碍后期剪辑的因素是什么因素，以进一步提高视频语言任务的性能？ 2）如何减轻这些因素的影响？通过一系列比较实验和分析，我们发现语言源之间的数据量表和域间隙具有很大的影响。由这些动机，我们提出了一种配备了视频代理机制的Omnisource跨模式学习方法，即剪辑，即剪辑VIP。广泛的结果表明，我们的方法可以提高视频检索的剪辑的性能。我们的模型还可以在包括MSR-VTT，DIDEMO，LSMDC和ActivityNet在内的各种数据集上实现SOTA结果。我们在https://github.com/microsoft/xpretrain/tree/main/main/main/clip-vip上发布了代码和预训练的剪辑模型。

当前，大型预训练模型被广泛应用于神经代码完成系统，例如GitHub Copilot，AixCoder和Tabnine。尽管大型模型的表现大大优于较小的同行，但与2,631名参与者的调查显示，开发人员未接受大约70 \％的copilot的代码完成。被审查但不接受，这些完成对生产力构成了威胁。此外，考虑到大型模型的高成本，它是计算资源和能源的巨大浪费，这严重违背了AI技术的可持续发展原则。此外，在代码完成系统中，完成请求会自动并积极地发给模型，因为开发人员类型输出，这大大加剧了工作负载。但是，据我们所知，在神经法规完成的背景下，从未实现过这种废物，更不用说有效地解决了。因此，迫切需要防止以成本友好的方式进行这种无利可图的代码完成。为了填补这一空白，我们首先研究这些完成的提示，并找到四个可观察到的及时模式，这些模式证明了根据提示本身识别此类提示的可行性。在这一发现的激励下，我们提出了一种早期的拒绝机制，以预言完成质量而不将其发送给LCM，以拒绝低返回的提示。此外，我们提出了一个基于轻量变压器的估计器，以证明该机制的可行性。实验结果表明，估算器以83.2％的有希望的准确性拒绝低退还提示。

卷积神经网络可以在语义细分任务中实现出色的性能。但是，这种神经网络方法在很大程度上依赖于昂贵的像素级注释。半监督学习是解决这个问题的有前途的决议，但其表现仍然远远落后于完全受监督的对手。这项工作提出了一个带有三个模块的跨教师培训框架，可显着改善传统的半监督学习方法。核心是跨教师模块，可以同时减少同伴网络之间的耦合以及教师和学生网络之间的错误积累。此外，我们提出了两个互补的对比学习模块。高级模块可以将高质量的知识从标记的数据传输到未标记的数据，并在特征空间中促进类之间的分离。低级模块可以鼓励从同伴网络中的高质量功能学习的低质量功能。在实验中，跨教师模块显着提高了传统的学生教师方法的性能，而我们的框架在基准数据集上的表现优于现行方法。我们的CTT源代码将发布。

终身学习旨在学习一系列任务，而无需忘记先前获得的知识。但是，由于隐私或版权原因，涉及的培训数据可能不是终身合法的。例如，在实际情况下，模型所有者可能希望不时启用或禁用特定任务或特定样本的知识。不幸的是，这种灵活的对知识转移的灵活控制在以前的增量或减少学习方法中，即使在问题设定的水平上也被忽略了。在本文中，我们探索了一种新颖的学习方案，称为学习，可回收遗忘（LIRF），该方案明确处理任务或特定于样本的知识去除和恢复。具体而言，LIRF带来了两个创新的方案，即知识存款和撤回，这使用户指定的知识从预先训练的网络中隔离开来，并在必要时将其注入。在知识存款过程中，从目标网络中提取了指定的知识并存储在存款模块中，同时保留了目标网络的不敏感或一般知识，并进一步增强。在知识提取期间，将带走知识添加回目标网络。存款和提取过程仅需在删除数据上对几个时期进行填充时期，从而确保数据和时间效率。我们在几个数据集上进行实验，并证明所提出的LIRF策略具有令人振奋的概括能力。

作为一个新的编程范式，深度神经网络（DNN）在实践中越来越多地部署，但是缺乏鲁棒性阻碍了他们在安全至关重要的领域中的应用。尽管有用于正式保证的DNN验证DNN的技术，但它们的可伸缩性和准确性有限。在本文中，我们提出了一种新颖的抽象方法，用于可扩展和精确的DNN验证。具体而言，我们提出了一种新颖的抽象来通过过度透明度分解DNN的大小。如果未报告任何虚假反例，验证抽象DNN的结果始终是结论性的。为了消除抽象提出的虚假反例，我们提出了一种新颖的反例引导的改进，该精炼精炼了抽象的DNN，以排除给定的虚假反例，同时仍然过分欣赏原始示例。我们的方法是正交的，并且可以与许多现有的验证技术集成。为了进行演示，我们使用两个有前途和确切的工具Marabou和Planet作为基础验证引擎实施我们的方法，并对广泛使用的基准ACAS XU，MNIST和CIFAR-10进行评估。结果表明，我们的方法可以通过解决更多问题并分别减少86.3％和78.0％的验证时间来提高他们的绩效。与最相关的抽象方法相比，我们的方法是11.6-26.6倍。